Different Tasks, Different Timesteps: Temporal Task-Aware Quantization for Diffusion Language Models
不同任务不同去噪步：扩散语言模型的任务-时间感知量化
🧭 扩散语言模型 · 混合精度量化
Technion – Israel Institute of Technology · INSIGHT Lab, Ben-Gurion University of the Negev
发现扩散语言模型量化敏感性随任务与去噪步变化，提出无标签信号驱动的混合精度量化框架T2Quant
📌 工作参考价值（4 点）
- 若部署扩散语言模型做生成式推荐/Agent文本生成，可对去噪过程不同时间步做混合精度量化，而非全程统一位宽：在任务敏感步分配更高精度，其他步降低精度，能在固定显存/算力预算下提升生成质量。
- 采用无标签的敏感性信号（如全精度与量化模型输出分布的KL散度）离线为不同任务、不同时间步生成量化位宽策略，避免每个下游任务都需真实标注或评测指标，便于快速适配新业务场景。
- 该混合精度框架可与现有量化方法叠加（即插即用），工程上只需在推理时按步动态切换激活精度，不涉及模型重新训练；对需要反复去噪的扩散generation pipeline（如商品标题、推荐理由、Agent规划）可有效降低推理成本。
- 注意：这一结论源于扩散语言模型，若业务使用自回归LLM则借鉴有限；但若采用扩散或迭代解码架构，应避免沿用AR静态量化假设，需重新评估时间步/任务维度的敏感性。